วัดเขาน้อยเป็นวัดที่มีความสำคัญโดดเด่นในด้านประวัติศาสตร์ และที่สำคัญเป็นวัดที่สร้างและบูรณะขึ้นมาใหม่ โดยเจ้าจอมสว่าง ในปี พ.ศ. 2475 เจ้าจอมสว่าง เป็นเจ้าจอมในสมัยราชกาลที่ 5 ซึ่งเป็นธิดาของเจ้าพระยานครศรีธรรมราช (น้อย ณ นคร หลานพระเจ้าตากสิน มหาราช มารดาคือ หม่อมราชวงศ์หญิง นรินทราวกุล) ภายในวัดเขาน้อยมีพระธาตุเจดีย์ ที่บรรจุพระสารีริกธาตุของพระพุทธเจ้าซึ่งพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 ได้พระราชทานให้เจ้าจอมสว่าง มาประดิษฐานที่วัดเขา น้อย เพื่อให้พุทธสาสนิกชนกราบไว้บูชา วัดเขาน้อยยังมีเจดีย์บนยอดเขา ซึ่งเป็นเจดีย์ที่ได้เก็บอังคารเจ้าพระยานครศรีธรรมราช (น้อย ณ นคร) และอังคารของสกุล ณ นคร ทั้งหลาย เพื่อให้ลูกหลานได้รำลึกถึง กราบไว้บรรพบุรุษ